iT邦幫忙

第 11 屆 iThome 鐵人賽

DAY 17
1
DevOps

不知所云之 KK8s 實務記憶篇系列 第 17

系統 Log 資料

  • 分享至 

  • xImage
  •  

任何系統運作後,都會產出系統記錄LogKubernetes Container環境下產出的log,經過標準輸出stdout後,存放於K8s worker node的目錄下/var/log/../*.log
每個 node 都個別執行不同的 AP應用服務,並且隨著Pod的變動,Log屬性與目錄相對會隨著變動。
因此需要透過Log架構來特別處理此事。

Log架構

K8s 叢集環境中,worker node會隨著應用需求而異動、增減,因此我們在每個worker node上藉由DaemonSet方式來部署圖中的logging-agent-pod

上述只是收集Log的開端,收集Log後我們還需要一套系統作為收集、分析、儲存、資料圖表等等。目前市面上這類系統,除了 ELK 之外,仍有其他眾多方案,如果是初期導入使用,建議可以先從 ELK 方面著手,等上手後如有更多不同因素需求面向,可以在評估其他可行方案。

ELK簡略

ELK 是三項開源方案的簡稱:ElasticsearchLogstashKibana
現在官方有個新名稱:Elastic Stack

  • Elasticsearch:簡稱 ES,是一套以Lucene基礎的搜尋引擎,基於Json格式而開發與應用,提供Web接口存放Log資料。ES 本身支援分散式架構,引擎是透過Java語言開發的,所以對Java based的服務運行需要有一定的學習與瞭解。
  • Logstash:此作為收集Loglogging-agent角色,能夠採集、分析、過濾和傳送資料到 ES 或其他目的地。本身支援Grok語法可將非結構化log數據進行分析與組成結構化,例如IP地址解碼出地理坐標,匿名化或排除敏感字段,並簡化整體處理過程。
  • Kibana:此為 ES 的開源數據圖表化方案。它在 ES 集群上所存在的Log索引內容之中提供圖表化功能。

抱歉,我不是故意要擾亂視聽......
因為,ELK名稱比較眾人所知......因此借題做開場說明。
回到環境中,下一篇我要用EFK作為 K8s 環境上Log收集的主要系統。
F = Fluent Bit


上一篇
Grafana收集Kubernetes系統資訊
下一篇
系統 Log 資料收集至 EFK
系列文
不知所云之 KK8s 實務記憶篇31
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言